本文介绍了在初始化和目标函数的神经网络之间``初始对齐'（inal''（inal）的概念。可以证明，如果网络和布尔目标函数没有明显的信息，则在具有归一化I.I.D的完全连接的网络上嘈杂的梯度下降。初始化不会在多项式时间内学习。因此，在体系结构设计中需要有关目标（由INAL测量）的一定程度的知识。这也为[AS20]中提出的开放问题提供了答案。结果基于在对称神经网络上的下降算法的较低限制，而没有明确了解目标函数以外的目标函数。

我们研究由SGD的变体训练的Relu神经网络的隐式偏置，其中在每个步骤中，标签以概率$ P $更改为随机标签（标记平滑是该过程的关闭变体）。我们的实验表明，标签噪声在以下意义上推动网络到稀疏解决方案：对于典型的输入，一小部分神经元是有效的，并且隐藏层的烧制图案是稀疏的。实际上，对于某些情况，适当的标签噪声不仅缩小网络，而且还减少了测试错误。然后，我们转向这些稀疏机制的理论分析，重点关注$ p = 1 $的极值案例。我们展示在这种情况下，网络沿着实验预期，但令人惊讶的是，以不同的方式依赖于学习率和偏见的存在，有重量消失或释放的神经元。

Hopfield attractor networks are robust distributed models of human memory. We propose construction rules such that an attractor network may implement an arbitrary finite state machine (FSM), where states and stimuli are represented by high-dimensional random bipolar vectors, and all state transitions are enacted by the attractor network's dynamics. Numerical simulations show the capacity of the model, in terms of the maximum size of implementable FSM, to be linear in the size of the attractor network. We show that the model is robust to imprecise and noisy weights, and so a prime candidate for implementation with high-density but unreliable devices. By endowing attractor networks with the ability to emulate arbitrary FSMs, we propose a plausible path by which FSMs may exist as a distributed computational primitive in biological neural networks.

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

流程挖掘的学科在医疗保健领域成功应用程序具有可靠的记录。在这样的研究领域，我们进行了与德国Uniklinik Aachen医院重症监护病房（ICU）病房有关的案例研究。这项工作的目的是双重的：开发一个规范模型，该模型代表了COVID-19患者治疗的临床指南，并分析观察到的行为（记录在医院的信息系统中）对此类准则的依从性。我们表明，通过一致性检查技术，可以分析COVID-19患者的护理过程，并强调与临床准则的主要偏差。结果为医生提供了改善过程并确保服务质量和患者满意度的有用指示。我们将结果模型作为开源BPMN文件共享。

推荐系统已被广泛用于各种领域，例如音乐，电影，电子购物。等等。在大多避免数字化之后，由于流行病而最近达到了技术转折点，使在线销售显着增长，并提供定量的定量性。有关艺术家和艺术品的在线数据。在这项工作中，我们提出了一个基于内容的推荐系统，依靠艺术品和艺术家的上下文元数据的图像。我们收集和注释的艺术品提供了高级和特定于艺术的信息，以创建一个完全独特的数据库，该数据库用于培训我们的模型。有了这些信息，我们在艺术品之间构建了一个接近图。同样，我们使用NLP技术来表征艺术家的实践，并从展览和其他活动历史中提取信息，以在艺术家之间创建近距离图。图形分析的力量使我们能够基于艺术品和艺术家的视觉和上下文信息的结合提供艺术品推荐系统。经过一组艺术专家的评估，与他们的专业评估相比，我们的平均最终评分为75％。

实例细分任务是众所周知的对象检测任务的扩展，在许多领域（例如精确农业：能够自动识别植物器官以及与之相关的可能的疾病）具有很大的帮助，可以有效地扩展和自动化作物监测及其疾病控制。为了解决与葡萄藤植物早期疾病检测和诊断有关的问题，已经创建了一个新的数据集，目的是通过实例细分方法推进疾病识别的最新识别。这是通过收集在自然背景下受疾病影响的叶片和葡萄簇的图像来实现的。该数据集包含10种对象类型的照片，其中包括叶子和葡萄，有八种常见的葡萄疾病的症状和症状，其中1,092张图像中总共有17,706个标记实例。提出了多种统计措施，以便对数据集的特征进行完整的看法。蒙版R-CNN和R^3-CNN达到的对象检测和实例分割任务的初步结果作为基线提供，表明该过程能够就自动疾病症状识别的目的达到有希望的结果。

关键字斑点（kWs）是一个重要的功能，使我们的周围环境中许多无处不在的智能设备进行交互，可以通过唤醒词或直接作为人机界面激活它们。对于许多应用程序，KWS是我们与设备交互的进入点，因此，始终是ON工作负载。许多智能设备都是移动的，并且它们的电池寿命受到持续运行的服务受到严重影响。因此，KWS和类似的始终如一的服务是在优化整体功耗时重点。这项工作解决了低成本微控制器单元（MCU）的KWS节能。我们将模拟二元特征提取与二元神经网络相结合。通过用拟议的模拟前端取代数字预处理，我们表明数据采集和预处理所需的能量可以减少29倍，将其份额从主导的85％的份额削减到仅为我们的整体能源消耗的16％参考KWS应用程序。语音命令数据集的实验评估显示，所提出的系统分别优于最先进的准确性和能效，在10级数据集中分别在10级数据集上达到1％和4.3倍，同时提供令人信服的精度 - 能源折衷包括71倍能量减少2％的精度下降。

目的：通过可穿戴传感器持续监测生物信号，在医疗和健康领域迅速扩展。在静止时，自动检测重要参数通常是准确的。然而，在诸如高强度运动的条件下，信号发生突然的生理变化，损害标准算法的鲁棒性。方法：我们的方法称为Bayeslope，是基于无监督的学习，贝叶斯滤波和非线性归一化，并根据ECG中的预期位置来增强和正确地检测R峰值。此外，随着贝叶克洛斯的计算沉重并且可以快速排出设备电池，我们提出了一种在线设计，可使其突然生理变化以及对现代嵌入式平台的异构资源的复杂性。该方法将Bayeslope与轻量级算法相结合，在具有不同能力的核心中执行，以减少能量消耗，同时保持精度。结果：贝森普洛普在激进的骑自行车运动中实现了99.3％的F1得分为99.3％。此外，在线自适应过程在五种不同的运动强度上实现了99％的F1得分，总能耗为1.55±0.54〜MJ。结论：我们提出了一种高度准确和稳健的方法，以及在现代超低功耗嵌入式平台中的完整节能实现，以提高攻击条件下的R峰值检测，例如在高强度运动期间。重要意义：实验表明，贝叶普洛斯在F1分数中优于8.4％的最先进的算法，而我们的在线自适应方法可以在现代异构可穿戴平台上达到高达38.7％的节能。

基于事件的视觉传感器在事件流中编码本地像素方面的亮度变化，而不是图像帧，并且除了低延迟，高动态范围和缺乏运动模糊之外，还产生稀疏，节能编码。基于事件的传感器的对象识别的最新进展来自深度神经网络的转换，培训背部经历。但是，使用这些事件流的方法需要转换到同步范式，这不仅失去了计算效率，而且还会错过提取时空特征的机会。在本文中，我们提出了一种用于基于事件的模式识别和对象检测的深度神经网络的端到端培训的混合架构，将尖刺神经网络（SNN）骨干组合用于高效的基于事件的特征提取，以及随后的模拟神经网络（ANN）头解决同步分类和检测任务。这是通过将标准的梯度训练与替代梯度训练相结合来实现这一点来实现，以通过SNN传播梯度。可以在不转换的情况下培训混合SNN-ANN，并且导致高度准确的网络，这些网络比其ANN对应物大得多。我们演示了基于事件的分类和对象检测数据集的结果，其中只需要将ANN头的体系结构适应任务，并且不需要基于事件的输入的转换。由于ANNS和SNNS需要不同的硬件范式来最大限度地提高其效率，因此设想SNN骨干网和ANN头可以在不同的处理单元上执行，从而分析在两部分之间进行通信的必要带宽。混合网络是有前途的架构，以进一步推进基于事件的愿景的机器学习方法，而不必妥协效率。